\documentclass[conference]{IEEEtran}
\IEEEoverridecommandlockouts
% The preceding line is only needed to identify funding in the first footnote. If that is unneeded, please comment it out.
\usepackage{cite}
\usepackage[UTF8]{ctex}
\usepackage{amsmath,amssymb,amsfonts}
\usepackage{graphicx}
\usepackage{textcomp}
\usepackage{xcolor}
\usepackage{algorithm}
\usepackage{algpseudocode}   % 提供算法伪代码支持
\usepackage{amsmath}
\usepackage{lmodern}  % 使用支持小型大写字母的现代字体
\usepackage{booktabs}


    
\def\BibTeX{{\rm B\kern-.05em{\sc i\kern-.025em b}\kern-.08em
    T\kern-.1667em\lower.7ex\hbox{E}\kern-.125emX}}
\begin{document}

\title{基于大语言模型的命名实体识别\\

}

\author{\IEEEauthorblockN{1\textsuperscript{st} 方明艳}
\IEEEauthorblockA{\textit{中原工学院 } \\
\textit{计算机学院 }\\
郑州, 中国 \\
2024107051} 
\and
\IEEEauthorblockN{2\textsuperscript{nd} 师雪猛}
\IEEEauthorblockA{
\textit{中原工学院} \\
\textit{计算机学院} \\
郑州, 中国 \\
2024107032
\and
\IEEEauthorblockN{3\textsuperscript{nd} 樊畅畅}
\IEEEauthorblockA{
\textit{中原工学院} \\
\textit{计算机学院} \\
郑州, 中国 \\
2024107020
}
}


}

\maketitle

\noindent\begin{abstract}
命名实体识别（NER）是自然语言处理中的基础任务，旨在从文本中识别出人名、地名、组织名等实体。传统的 NER 方法依赖序列标注技术，存在对大量标注数据的依赖、难以处理嵌套实体和低资源场景下效果较差等问题。本文提出了一种基于大语言模型的命名实体识别方法——\textbf{GPT-NER}，将 NER 任务转化为文本生成任务，利用 GPT-3 生成带有实体标记的文本。此方法显著减少了对大规模标注数据的需求，并能够有效处理平面和嵌套实体。同时，我们引入了\textbf{自验证策略}，确保生成实体的有效性。实验结果表明，GPT-NER 在多个标准数据集上取得了与现有方法相当的表现，并在低资源环境下表现优越，证明了其在实际应用中的潜力。
\end{abstract}


\begin{IEEEkeywords}
自验证, 命名实体识别, 大语言模型, GPT-NER, 少量示例学习
\end{IEEEkeywords}

\section{引言}
命名实体识别（Named Entity Recognition, NER）是自然语言处理（Natural Language Processing, NLP）中的一项基础任务，其目的是从文本中识别出具有特定意义的实体，如人名、地名、组织名等。NER 任务广泛应用于信息抽取、问答系统、机器翻译、文本摘要等多个领域。随着深度学习技术的发展，NER 的性能得到了显著提升，尤其是在基于深度神经网络（DNN）和预训练语言模型（如 BERT、GPT 等）的方法出现后，NER 的研究进入了新的阶段。

传统的 NER 方法大多基于序列标注模型，例如条件随机场（CRF）和循环神经网络（RNN）等。这些方法通常依赖于手工特征和上下文信息，通过对每个单词进行分类来识别实体。然而，随着深度学习的进步，基于Transformer架构的预训练语言模型（如 BERT 和 GPT）已经在多个自然语言处理任务中表现出色，尤其是在处理长文本和捕捉复杂的上下文依赖关系方面具有天然优势。

尽管如此，基于深度学习的传统 NER 方法仍然面临一些挑战。首先，很多方法依赖大量标注数据进行训练，而标注数据的获取是一个耗时且昂贵的过程。其次，实体的边界问题和实体重叠问题仍然是 NER 中亟待解决的难题。传统的序列标注方法通常难以处理嵌套实体或多重实体的识别。而且，许多 NER 模型在处理低资源语言或领域特定数据时的效果不理想，尤其是在训练数据稀缺的情况下\cite{ref20}。

为了解决这些问题，近年来基于大语言模型（LLMs）的研究逐渐兴起，尤其是 GPT 系列模型的广泛应用\cite{ref1}\cite{ref19}。GPT 系列模型采用了生成式的框架，能够处理更加灵活和复杂的文本生成任务，且具有强大的迁移学习能力。这使得 GPT 模型在少量示例学习（Few-shot Learning）中展现了显著的优势。与传统的 NER 方法不同，GPT-NER 将 NER 任务转化为文本生成任务，使用大语言模型生成带有实体标记的文本。通过这种方式，GPT-NER 不仅可以提高识别的准确性，还能够减少对大量标注数据的依赖。

本文提出了一种基于 GPT 模型的命名实体识别方法——\text{GPT-NER}。与传统的 NER 方法不同，GPT-NER 将命名实体识别任务转化为文本生成任务，使得 GPT-3 等大语言模型能够直接生成带有特殊标记（如 `@@` 和 \texttt{\#\#}）的实体文本。通过这种转化，GPT-NER 具有以下优势：一方面，它能够减少标注数据的需求，特别是在低资源的设置下，表现出显著的优势；另一方面，它能够较好地处理实体的嵌套和重叠问题，克服传统 NER 方法的局限性。

本研究的贡献主要体现在以下几个方面：
\begin{itemize}
    \item 创新的任务转化：我们首次将 NER 任务转化为文本生成任务，并通过大语言模型来生成带有实体标记的文本，显著提高了模型的灵活性和准确性。
    \item 自验证策略的引入：为了解决模型产生实体“幻觉”的问题，我们提出了一种自验证策略，通过对生成实体进行验证，确保实体标记的准确性。
    \item 少量示例学习：通过 GPT-3 的少量示例学习能力，GPT-NER 在数据稀缺的情况下仍能取得较好的表现，展示了在低资源设置中的潜力。
    \item 与现有方法的对比：我们在多个标准 NER 数据集上对 GPT-NER 进行了评估，并与当前主流的 NER 方法进行比较，证明了其在平面NER和嵌套NER任务中的优越性。
\end{itemize}



% \begin{figure}[htbp]
% \centering
% \includegraphics[width=\linewidth]{Event.png}
% \caption{Event extraction example from the ACE 2005 corpus.}
% \label{fig2}
% \end{figure}


\section{相关工作}

命名实体识别（Named Entity Recognition, NER）是自然语言处理（NLP）中的基础任务之一，旨在从文本中识别出人名、地名、组织名等具有特定意义的实体。NER 在信息抽取、文本摘要、机器翻译等任务中起着关键作用。随着技术的发展，NER 方法经历了从基于规则的传统方法到现代基于深度学习和预训练语言模型的方法的演变。
\subsection{传统方法}
最早的 NER 方法通常依赖于基于规则的系统和词典匹配。这些方法通过预定义的规则集和词典来匹配文本中的实体。例如，规则系统通过正则表达式和模式匹配来识别实体，这种方法通常适用于结构化和标准化的文本。然而，这些方法的局限性也十分明显。首先，它们需要手工定义规则，并且很难处理多样化和复杂的自然语言文本。其次，由于缺乏灵活性，它们在处理未知实体和长文本时的效果较差 。

随后，统计学习方法逐渐成为 NER 的主流。例如，条件随机场（CRF） 是一种概率图模型，它能够通过建模实体标签之间的依赖关系来进行序列标注。这种方法避免了单独为每个词标注标签的局限性，并且在多种标准数据集上表现优异。尽管 CRF 方法有效提高了 NER 的性能，但它依然依赖大量手工特征的设计 。此外，支持向量机（SVM） 也被广泛应用于 NER，特别是在高维数据的处理和分类性能方面表现出色 。

\subsection{基于深度学习的方法}
随着深度学习的兴起，基于循环神经网络（RNN）和 长短时记忆网络（LSTM） 的方法逐渐取代了传统的统计学习方法。这些方法能够通过端到端的训练，从大量数据中自动学习特征，从而提高了实体识别的准确性。特别是 双向 LSTM（BiLSTM） 与 条件随机场（CRF） 结合的 BiLSTM-CRF 模型\cite{ref24}，在序列标注任务中取得了显著的成果。这种方法通过双向编码捕捉文本的上下文信息，进一步增强了模型的性能 。

进一步地，卷积神经网络（CNN）和 自注意力机制（Self-Attention）的引入使得模型能够捕捉局部和全局的信息，特别是自注意力机制通过 Transformer 架构在处理长文本和复杂依赖关系时展现出独特的优势\cite{ref25}。自注意力机制的引入大大提升了对长文本中实体间复杂依赖关系的建模能力。

\subsection{基于预训练语言模型的方法}
近年来，基于预训练语言模型的 NER 方法逐渐成为研究的主流。BERT（Bidirectional Encoder Representations from Transformers） 通过双向建模上下文信息，能够深入理解文本的语法和语义关系，进而提升 NER 的精度。BERT 的预训练与微调策略使其能够利用大规模未标注文本进行预训练，并通过少量标注数据进行微调，从而有效提高了低资源环境下的性能 。

与 BERT 不同，GPT（Generative Pretrained Transformer）系列采用了自回归的生成框架。GPT-3通过强大的生成能力，能够在少量示例学习的模式下执行 NER 任务，而无需依赖大量标注数据。GPT-3 的强大能力使其在多种语言任务中表现出色，尤其是在没有明确标签的情况下进行实体识别的能力，极大地拓宽了 NER 的应用场景  。

尽管基于 GPT 的生成式模型展现了强大的能力，但它们仍面临处理实体嵌套和实体重叠的挑战。实体嵌套和重叠问题是传统序列标注方法的难点之一，生成式方法如何有效处理这些复杂的实体关系仍然是研究的一个重要方向。



我们提出的GPT-NER将NER任务转化为文本生成任务的创新方法。与传统的序列标注方法不同，GPT-NER 使用 GPT-3 等大语言模型直接生成带有特殊标记（如 \texttt{@@} 和 \texttt{\#\#}）的实体文本。这种生成式方法不仅减少了对大规模标注数据的依赖，还能够较好地处理嵌套和重叠的实体。此外，GPT-NER 引入了 \text{自验证策略}，通过让模型自我验证生成的实体有效性，减少了实体识别过程中的错误。

通过在多个标准 NER 数据集上的实验，GPT-NER 展示了其在处理平面和嵌套实体任务中的优越性，尤其在低资源设置下，GPT-NER 相比于传统方法展现了显著的优势。


% %双栏
% \begin{figure*}
% \includegraphics[width=0.9\textwidth]{GPT-3.png}
% \caption{The different F1 scores, Precision, and Recall scores for varying parameters}
% \label{fig:GPT}       % Give a unique label
% \end{figure*}


% 单栏
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.5\textwidth]{GPT-3.png}
    \caption{GPT-NER将NER任务转化为文本生成任务，利用GPT-3生成带有实体标记的文本。}
    \label{fig:GPT-3}
\end{figure}

\section{PRELIMINARIES}

% \section{预备知识}
\label{sec:preliminaries}

在提出 GPT-NER 模型前，本文首先介绍与该模型设计相关的三项基础概念，包括命名实体识别任务定义、自回归语言模型的建模范式，以及基于提示的学习方法。这些概念共同构成了 GPT-NER 的理论基础。

\subsection{命名实体识别任务}

命名实体识别（Named Entity Recognition, NER）任务旨在识别自然语言文本中具有语义类别的实体单元，例如人物（PERSON）、组织（ORGANIZATION）、地名（LOCATION）等。传统上，NER 被建模为一个序列标注任务：给定一个长度为 $n$ 的输入序列 $\mathbf{x} = (x_1, x_2, \dots, x_n)$，模型预测一个同长度的标签序列 $\mathbf{y} = (y_1, y_2, \dots, y_n)$，其中每个标签 $y_i \in \mathcal{Y}$，如 BIO 编码形式的标签集合。

例如：

\begin{center}
\begin{tabular}{ll}
\textbf{词语} & \textbf{标签} \\
\hline
Barack & B-PER \\
Obama & I-PER \\
was & O \\
born & O \\
in & O \\
Hawaii & B-LOC \\
\end{tabular}
\end{center}

该类方法对 token-level 标注依赖性强，人工成本高，且对低资源域或跨任务泛化能力较弱。

\subsection{自回归语言模型}

GPT-NER 所依赖的语言模型属于自回归范式。该类型模型目标是学习每个 token 在其左侧上下文条件下的生成概率。具体地，对于一个输入序列 $\mathbf{x} = (x_1, x_2, \dots, x_T)$，其优化目标为：
\[
\mathcal{L}_{LM} = -\sum_{t=1}^{T} \log P(x_t \mid x_1, x_2, \dots, x_{t-1}; \theta)
\]
其中 $\theta$ 为模型参数。该机制主要基于 Transformer 解码器架构，适合建模上下文依赖关系，广泛应用于自然语言生成任务。

与 BERT 等双向编码器不同，GPT 仅依赖左侧上下文，因而更适合在 prompt 框架下生成符合语言模式的实体序列。

\subsection{基于提示的生成式学习}

Prompt-based Learning 是一种利用预训练语言模型完成下游任务的新范式，其基本思想是将任务转化为语言模型擅长的生成任务，并通过精心设计的提示语（prompt）引导模型理解任务意图。

GPT-NER 采用 few-shot prompting 方法，即在输入中加入若干个示例构造 prompt，模型通过上下文学习完成实体预测任务。如下所示：
\begin{verbatim}
Text: "Google is based in California." 
Entities: Google; California
Text: "Barack Obama was born in Hawaii." 
Entities: Barack Obama; Hawaii

Text: "Elon Musk is the CEO of Tesla."
Entities:？？
\end{verbatim}
模型在此上下文中自动学习实体抽取的“模式”，进而生成正确结果：

\begin{verbatim}
Elon Musk; Tesla
\end{verbatim}
该方法将 NER 建模为一个条件文本生成任务，形式化表达为：
\[
\hat{y} = \arg\max_y P(y \mid x, \text{prompt}; \theta)
\]
其中 $x$ 为原始句子，prompt 为输入中构造的示例模板，$\hat{y}$ 为模型生成的实体序列结果。

这种方式不依赖于 token-level 标签，具备强大的 few-shot 能力，特别适用于低资源和迁移学习场景。





\subsection{任务描述}

任务描述可以由三部分组成，每部分可以用一句话表示其作用，具体如下：

1. 第一部分：任务描述的第一句话，“我是一个出色的语言学家”，是固定的，向大语言模型（LLM）传递了使用语言学知识来生成输出的指令。

2. 第二部分：第二句话，“任务是标注给定句子中的[Entity Type]实体”，是可变的，表示模型需要从输入句子中识别并标记特定类型的实体，其中“[Entity Type]”指明了要识别的实体类型，例如，地名、人物名等。需要注意的是，这种方式将 NER 任务转化为多个二元分类任务，每个任务对应一种实体类型，这样做的原因是由于当前大语言模型（如 GPT-3）存在令牌长度的限制（如 GPT-3 的令牌限制为 4096），无法在单一提示中处理所有实体类型的描述和示例。因此，在处理每个输入句子时，我们会针对每个实体类型构建 N 个提示，每次对应一个实体类别。

3. 第三部分：第三句话，“以下是一些示例”，标志着任务描述的结束，并为模型提供少量示例。这些示例有助于引导模型理解任务要求，并能够在后续生成中准确识别实体。

这种结构化的任务描述方式不仅清晰地定义了任务目标，还通过提供示例，帮助大语言模型在执行任务时更好地理解和生成实体标注结果。



\section{方法}

\subsection{任务转化与格式设计}
在本研究中，我们提出了GPT-NER方法，将传统的命名实体识别（NER）任务转化为文本生成任务。具体来说，NER 任务通常被建模为序列标注问题，而 GPT-NER 通过将任务转化为文本生成问题来处理实体识别。特别地，我们使用特殊标记（\texttt{@@} 和 \texttt{\#\#}）来标记输入文本中的实体，从而使 GPT-3 能够直接生成带有标记的文本。

形式上，我们定义输入句子为 \( X = x_1, x_2, \dots, x_n \)，其中每个 \( x_i \) 是句子中的一个词。在生成过程中，我们需要识别出 \( X \) 中的实体，并在其前后加上特殊标记。这可以通过如下公式来表示：

\[
X' = \texttt{@@} \, x_{\text{entity}} \, \texttt{\#\#}
\]

例如，给定输入句子“Columbus is a city”，GPT-NER 会生成带有标记的文本“\texttt{@@Columbus\#\# is a city}”。这样，GPT-3 就可以根据这个格式生成实体标记，而无需依赖传统的序列标注模型。

\subsection{自验证策略}
在进行命名实体识别时，大语言模型（LLM）可能会发生“幻觉”问题，即错误地将非实体部分误标为实体。为了避免这种错误，我们引入了 自验证策略，通过进一步的验证步骤来确保实体的真实性。

具体地，给定输入句子 \( X \)，模型首先生成带有实体标记的文本 \( X' \)。然后，我们为每个生成的实体 \( e_i \) 提供一个验证过程，要求模型判断该实体是否符合预定义的实体类型 \( T_i \)：

\[
\hat{T}_i = \text{Validate}(e_i)
\]

其中，验证函数 \(\text{Validate}(e_i)\) 通过查询额外的实体知识库或利用上下文信息来判断实体 \( e_i \) 是否真实存在且类型正确。对于句子“Columbus is a city”中的“Columbus”，模型需要验证其是否为地点实体（Location）。

\subsection{示例检索与上下文学习}
GPT-NER 使用 少量示例（Few-shot Learning） 技术进行上下文学习。这些示例用于帮助模型理解任务并生成更准确的实体标注。为了提供这些示例，GPT-NER 采用了基于 KNN（K最近邻） 检索的方法，从训练集中检索出与输入句子语义最相似的示例。

给定一个输入句子 \( X_{\text{input}} \)，我们计算训练集中所有句子 \( X_{\text{train}} \) 的嵌入表示 \( \text{Emb}(X) \)，然后根据嵌入向量的相似度来选择最相关的 \( k \) 个示例：

\[
k_{\text{nearest}} = \text{Top-}k \left( \text{similarity}(\text{Emb}(X_{\text{input}}), \text{Emb}(X_{\text{train}})) \right)
\]

\subsubsection{检索策略}
为了选择最相关的示例，我们提出了两种检索策略：

\begin{itemize}
    \item 随机检索：直接从训练集中随机选择 \( k \) 个示例。
    \item 基于嵌入的检索：通过计算句子或实体的嵌入向量的相似度，选择与输入句子语义最相关的 \( k \) 个示例。
\end{itemize}

基于嵌入的检索方法利用句子或实体的嵌入向量来度量其相似度，通常使用余弦相似度或欧几里得距离来计算相似性：

\[
\text{similarity}(A, B) = \frac{A \cdot B}{\|A\| \|B\|}
\]

\subsubsection{实体级嵌入检索}
我们还提出了使用 实体级嵌入（entity-level embeddings）进行检索，以确保检索到的示例与输入句子中的实体紧密相关。具体来说，在处理包含多个实体的句子时，我们单独为每个实体计算嵌入表示，并根据实体级嵌入的相似度来选择最相关的示例。

实体级嵌入通过以下公式计算：

\[
\text{Emb}(e_i) = \text{Encoder}(e_i)
\]

其中，\(\text{Encoder}(e_i)\) 是用于生成实体 \( e_i \) 的嵌入向量的编码器。在这种方式下，检索到的示例不仅能提供句子层级的上下文，还能够针对每个实体提供精确的示例，有助于提高模型对实体的理解能力。

\subsection{GPT-NER 的工作流程}
GPT-NER 的工作流程包括以下步骤：

\begin{enumerate}
    \item \textbf{提示构建}：为每个输入句子构建一个提示，提示中包括任务描述、少量示例和输入句子。这些提示帮助 GPT-3 理解任务要求。
    \item \textbf{文本生成}：将构建好的提示输入到 GPT-3 中，生成带有实体标记的文本。模型根据提示中的上下文生成相应的实体标记。
    \item \textbf{自验证}：在生成实体后，GPT-3 会自我验证生成的实体是否属于指定的实体类型。通过这种方式，GPT-3 能够减少错误标注的概率，提高生成结果的准确性。
\end{enumerate}




% \section{方法}

% \subsection{任务转化与格式设计}
% 在本研究中，我们提出了GPT-NER方法，将命名实体识别（NER）任务转化为文本生成任务。我们使用特殊标记（\texttt{@@} 和 \texttt{\#\#}）来标记句子中的实体，从而使GPT-3能够直接生成带有标记的文本。

% 具体的标记格式是：如果输入句子中包含实体，则在该实体前后加上特殊标记 \texttt{@@} 和 \texttt{\#\#}。例如，给定输入句子“Columbus is a city”，GPT-NER 会生成“\texttt{@@Columbus\#\# is a city}”。

% \subsection{自验证策略}
% 大语言模型（LLM）在进行NER时可能会发生“幻觉”问题，即错误地将非实体部分误标为实体。为了解决这个问题，我们提出了自验证策略。具体地，在抽取实体后，我们要求模型进一步验证所识别的实体是否真实存在。例如，对于“Columbus is a city”中的“Columbus”，模型将被提示验证是否为地点实体（Location）。

% \subsection{示例检索与上下文学习}
% GPT-NER 使用少量示例（Few-shot Learning）进行上下文学习。为了提供这些示例，GPT-NER 采用了基于 KNN（K最近邻）检索的方法，从训练集中检索出与输入句子语义最相似的示例。

% \subsubsection{检索策略}
% 我们提出了两种检索策略：
% \begin{itemize}
%     \item \textbf{随机检索}：直接从训练集中随机选择 $k$ 个示例。
%     \item \textbf{基于嵌入的检索}：通过计算句子或实体的嵌入向量的相似度，选择最相关的 $k$ 个示例。
% \end{itemize}

% \subsubsection{实体级嵌入检索}
% 我们还提出了使用实体级嵌入（entity-level embeddings）进行检索，确保检索到的示例与输入句子中的实体紧密相关，从而更好地帮助模型理解上下文。

% \subsection{GPT-NER 的工作流程}
% GPT-NER 的工作流程包括以下步骤：
% \begin{enumerate}
%     \item \textbf{提示构建}：为每个输入句子构建一个提示，提示中包括任务描述、少量示例和输入句子。
%     \item \textbf{文本生成}：将构建好的提示输入到 GPT-3 中，生成带有实体标记的文本。
%     \item \textbf{自验证}：在生成实体后，GPT-3 会自我验证生成的实体是否属于指定的实体类型。
% \end{enumerate}


\section{实验}
本研究提出了一种名为GPT-NER的方法，利用大型语言模型进行命名实体识别。实验方法主要包括三个步骤：首先，通过提示构建将NER的序列标注任务转化为文本生成任务，使用特殊标记（如@@和\#\#）标记实体，例如将输入“Columbus is a city”转化为“@@Columbus\#\# is a city”。其次，采用kNN检索策略，从训练集中选择与输入语义相近的少样本演示，分别基于句子级和实体级嵌入进行优化，其中实体级嵌入显著提升了性能。最后，引入自验证策略，提示LLM验证提取的实体是否属于指定类别，以缓解模型过度预测问题。实验在五个NER数据集上进行，使用GPT-3作为实验模型，评估指标为span-level的精确率、召回率和F1分数。结果表明，GPT-NER在全训练集和少样本场景下均取得与监督基线相当的性能，尤其在低资源环境中表现优异。


\subsection{数据集}
\begin{itemize}
    \item \textbf{CoNLL2003}: CoNLL2003 是由国际计算语言学协会（CoNLL）发布的一个标准数据集，主要用于命名实体识别（NER）任务，特别是在英语新闻文本中的实体识别。该数据集包含约 4,000 篇新闻文章，标注了四种主要类型的实体：人名（PER）、地名（LOC）、组织名（ORG）以及其他类别（MISC）。这些标注帮助研究者评估不同 NER 模型的表现，尤其是在人名、地名和组织名等基础实体识别方面。CoNLL2003 数据集通常被用于测试和比较传统 NER 方法与基于深度学习的模型，具有广泛的应用和影响力。
    \item \textbf{OntoNotes5.0}: OntoNotes5.0 是一个大规模的多语言数据集，包含来自不同文本源的命名实体标注，包括新闻、电话对话、广播和其他文本类型。该数据集标注了 18 类实体，如人名、地名、组织名等，还包括时间、日期、货币等其他实体类别。OntoNotes5.0 的特点在于它的多样性和丰富性，不仅提供了实体的标注，还包括语法分析树、语义角色标注等信息，使其成为一个多任务的语料库。该数据集特别适合进行多语言 NER 任务的研究，同时也是 NER、语法分析和语义角色标注等任务的标杆数据集。
    \item \textbf{ACE2004, ACE2005}: ACE2004 和 ACE2005 是由美国国家标准与技术研究院（NIST）发布的，用于信息抽取（IE）任务的标准数据集，主要聚焦于事件抽取和命名实体识别。与其他 NER 数据集不同，ACE 数据集不仅标注了实体，还标注了与事件相关的角色信息，如事件的参与者、时间和地点等。ACE2004 和 ACE2005 通过提供对复杂实体和事件的标注，使得它们特别适合处理多重实体、实体嵌套和事件抽取等任务。ACE2005 在标注上进行了扩展，增加了更多的实体类型和更详细的事件标签，推动了事件抽取和实体识别研究的发展。
    \item \textbf{GENIA}: GENIA 数据集专注于生物医学领域，特别是与生物医学文献中的命名实体识别相关的任务。该数据集基于 PubMed 中的文献，标注了与基因、蛋白质、疾病等相关的实体，旨在为生物医学领域的 NER 和信息抽取任务提供支持。GENIA 数据集尤其适用于生物信息学和生物医学文本的自动分析。它的实体标注在生物医学文献分析、基因研究和药物发现等领域具有广泛的应用，为生物医学领域的自动化文献处理提供了宝贵的资源。
\end{itemize}

\begin{table}[htbp]
\centering

\begin{tabular}{l c c c}
\toprule
数据集 & 任务类型 & 数据规模 & 实体类型 \\
\midrule
CoNLL2003 & 平坦NER & 约14,987句 & 人名、组织、地点、其他 \\
OntoNotes5.0 & 平坦NER & 约115,000句 & （人名、组织、地点等） \\
ACE2004 & 嵌套NER & 约7,952句 & （人名、组织、地点等） \\
ACE2005 & 嵌套NER & 约7,299句 & （人名、组织、地点等） \\
GENIA & 嵌套NER & 约18,546句 & （蛋白质、DNA等）\\
\bottomrule
\end{tabular}
\caption{实验中使用的数据集概述}
\end{table}

\subsection{评估指标}
我们使用精确度（Precision）、召回率（Recall）和 F1 分数来评估模型性能。
精确度（Precision）表示模型预测为正类的样本中，实际为正类的比例。其公式为：
\[
\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}
\]
其中，TP 表示真正例（True Positives），FP 表示假正例（False Positives）。

召回率（Recall）表示实际为正类的样本中，模型正确识别为正类的比例。其公式为：
\[
\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}
\]
其中，FN 表示假负例（False Negatives）。

F1 分数是精确度和召回率的调和平均数，能够综合评估模型的性能。其公式为：
\[
\text{F1} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}
\]

\subsection{基线模型}
我们将 GPT-NER 与以下几种当前 SOTA（最先进）NER 模型进行对比：
\begin{itemize}
    \item \textbf{BERT-Tagger}:BERT-Tagger 是基于 BERT（Bidirectional Encoder Representations from Transformers）模型的命名实体识别（NER）方法。BERT 是一种预训练的语言表示模型，能够捕捉到文本中的深层次上下文信息。BERT-Tagger 将 NER 任务视为序列标注问题，通过在 BERT 的基础上加一个简单的线性层来预测每个词的标签。由于 BERT 强大的上下文建模能力，BERT-Tagger 能够在处理复杂文本时比传统的 NER 方法取得更高的精度，尤其是在处理多样化语言和长文本时。通过微调 BERT，BERT-Tagger 在多个标准数据集上展现出了出色的性能，尤其是在 CoNLL2003 数据集上。
    \item \textbf{MRC-NER}:MRC-NER（Machine Reading Comprehension for Named Entity Recognition）是一种基于机器阅读理解（MRC）任务的命名实体识别方法。MRC-NER 将 NER 问题转化为机器阅读理解任务，通过使用问答模型来识别文本中的实体。
    \item \textbf{GNN-SL} :GNN-SL（Graph Neural Network for Sequence Labeling）是一种基于图神经网络（GNN）的方法，用于序列标注任务，如命名实体识别（NER）。在 GNN-SL 模型中，输入的文本序列首先通过传统的嵌入方法转换为图结构，每个单词被视为图中的一个节点，而节点之间的依赖关系则通过边连接。GNN-SL 利用图神经网络在序列中传播节点信息，从而捕捉到单词之间的长程依赖关系。
    \item \textbf{ACE+document-context}:ACE+document-context 是一种基于 ACE2004 和 ACE2005 数据集的 NER 方法，它结合了文档级上下文信息来增强实体识别能力。ACE（Automatic Content Extraction）是一个包含大量新闻和对话语料的多任务数据集，标注了丰富的实体和事件信息。ACE+document-context 模型通过引入文档级的上下文信息来改善实体识别，尤其是在多句子、长文档的情境中，能够有效利用整篇文档的上下文来增强实体的识别准确性。通过结合文档中的前后句子，模型能够捕捉到跨句子的实体关系和语义联系，从而解决传统 NER 方法在处理长文本和跨句子实体时的局限性。该方法在处理复杂文档结构时具有显著的优势，能够提高 NER 任务的总体表现。 \cite{ref14}
\end{itemize}

\subsection{实验设置}
本文的实验基于 GPT-3（davinci-003）作为大型语言模型（LLM）骨干。为了确保结果的可比性，所有实验均采用一致的超参数配置。具体超参数设置如下：最大输出长度为 512 个 token，温度（temperature）设为 0，top-p 采样参数（top-p）设为 1，频率惩罚（frequency penalty）和存在惩罚（presence penalty）均设为 0，best\_of 参数设为 1。这些设置通过 OpenAI API 调用时配置，以保证生成输出的确定性和一致性，减少随机性对结果的影响。此外，实验利用 SimCSE 模型生成句级嵌入，用于相似性检索，嵌入维度为 1024，批次大小（batch size）默认设为 64，嵌入向量归一化为单位向量（normalize\_to\_unit=True）。计算设备支持 CPU 或 GPU，通过命令行参数控制，默认为 CPU，若启用 GPU 则使用 CUDA。相似性搜索采用 FAISS 库构建索引，默认采用内积索引以确保精确性，可选快速模式（IndexIVFFlat，聚类数最小为 100）。搜索时，探针数量（nprobe）默认设为 10，返回的 top-k 结果数默认设为 5，余弦相似度阈值默认设为 0.0，仅保留高于该阈值的匹配结果。嵌入向量以 np.memmap 格式存储（数据类型为 np.float32），便于高效读写。实验在五个命名实体识别（NER）数据集（CoNLL2003、OntoNotes5.0、ACE2004、ACE2005、GENIA）上进行，评估指标为 span 级别的精确率（precision）、召回率（recall）和 F1 分数。
% \subsection{实验设置}
% 本文的实验基于 GPT-3（davinci-003）作为大型语言模型（LLM）骨干。为了确保结果的可比性，所有实验均采用一致的超参数配置。具体超参数设置如下：最大输出长度为 512 个 token，温度（temperature）设为 0，top-p 采样参数（top-p）设为 1，频率惩罚（frequency penalty）和存在惩罚（presence penalty）均设为 0，best\_of 参数设为 1。这些设置通过 OpenAI API 调用时配置，以保证生成输出的确定性和一致性，减少随机性对结果的影响。此外，实验利用 SimCSE 模型（sup-simcse-roberta-large）生成句级嵌入，用于相似性检索，嵌入维度为 1024，批次大小（batch size）默认设为 64，嵌入向量归一化为单位向量（normalize\_to\_unit=True）。计算设备支持 CPU 或 GPU

\subsection{实验结果}
\subsubsection{Flat NER（CoNLL2003 和 OntoNotes5.0）}
在Flat NER 任务中，GPT-NER 在 CoNLL2003 和 OntoNotes5.0 数据集上的表现与完全监督的模型相当，尤其是在低资源设置下，表现出了显著的优势。从表 \ref{tab:conll2003} 和表 \ref{tab:ace2004} 中可以看到，GPT-NER 在 CoNLL2003 数据集上的精确度达到了 89.76，召回率为 92.06，F1 分数为 90.91。与传统的监督模型相比，GPT-NER 在任务中的表现不逊色，尤其是在低资源条件下，它通过少量示例和生成式标记的方式展现了强大的实体识别能力。

表 \ref{tab:conll2003} 中列出了不同模型在 CoNLL2003 数据集上的性能，包括 BERT-Tagger、MRC-NER 和 GNN-SL 等模型。尽管 GPT-NER 的 F1 分数略低于 GNN-SL，但在低资源情况下，GPT-NER 相比于其他基线模型展现了较强的优势，尤其是在处理大量未标注数据时的表现。

\begin{table}[htbp]
\centering
\begin{tabular}{lccc}
\toprule
\textbf{Baselines} & \textbf{precision} & \textbf{Recall} & \textbf{F1 scores} \\
\midrule
\textbf{BERT-Tagger}  & 82.42 & 86.42 & 84.31 \\
\textbf{MRC-NER}       & 75.84 & 86.85 & 84.83 \\
\textbf{GNN-SL}       & 85.82 & 84.41 &  85.09\\
\textbf{ACE+document-context}  & 90.80 & 82.82 & 87.48 \\
\textbf{BERT-Tagger} & 88.51 & 87.62 & 88.07  \\
\textbf{GPT-NER} & 89.76 & 92.06 & 90.91 \\
\bottomrule
\end{tabular}
\caption{在 CoNLL2003 数据集上的性能表现}
\label{tab:conll2003}
\end{table}



表 \ref{tab:ace2004} 展示了 GPT-NER 在 ACE2004 数据集上的表现，比较了基于监督学习的方法（如 BERT-MRC、Tiraffine+BERT）与 GPT-NER 的性能差异。可以看到，GPT-NER 在不同的检索策略和验证策略下，性能稳定且表现出较强的鲁棒性。



\subsubsection{嵌套 NER（ACE2004, ACE2005, GENIA）}
在嵌套 NER 数据集（如 ACE2004、ACE2005 和 GENIA）上，GPT-NER 的表现尽管面临实体重叠和嵌套实体的挑战，但依然展现了强大的能力。特别是使用 实体级嵌入 和 自验证策略 时，GPT-NER 在处理复杂的嵌套实体时能够保持较高的准确性。在 ACE2004 和 ACE2005 等数据集中，GPT-NER 能够通过生成式标记和自验证机制减少错误识别，特别是在低资源环境下，表现优于传统监督学习方法。

\subsection{低资源设置}
为了评估 GPT-NER 在低资源环境下的表现，我们在非常有限的训练数据下（如 8 或 100 个句子）对其进行了测试。在这些低资源设置下，GPT-NER 展现出了显著的优势，尤其是在少量示例的支持下，模型能够以较少的样本高效地完成实体识别任务。相较于传统的监督学习模型，GPT-NER 能够更好地利用生成式模型的优势，尤其是在未标注数据丰富的情况下表现优异。

% \subsection{消融实验}
% 我们进一步探讨了 输出格式、少量示例数量 和 示例检索策略 对模型性能的影响。实验结果表明：
% \begin{itemize}
%     \item \textbf{输出格式}: 使用特殊标记格式（\texttt{@@} 和 \texttt{\#\#}）显著优于传统的 BMES 和实体位置格式，能够减少生成过程中的复杂度，并提高标注的准确性。
%     \item \textbf{少量示例}: 增加少量示例数量能够提高性能，但当示例数量达到 GPT-3 的令牌限制时，性能提升会趋于平稳，这表明 GPT-3 在有限资源条件下仍能保持较高的准确性。
%     \item \textbf{kNN 检索}: 使用基于 token 的嵌入进行示例检索比基于句子的检索表现更好。通过计算每个输入句子与训练集中的句子的嵌入相似度，模型能够检索出最相关的示例，从而提供更高质量的上下文信息，进一步优化实体识别性能。
% \end{itemize}

% 通过这些消融实验，我们验证了GPT-NER在多个方面的优势，并确定了不同策略对模型性能的具体影响。

\subsection{消融实验}

在本节中，我们对GPT-NER模型的关键设计组件进行了系统性的消融实验，以评估各部分在命名实体识别任务中的实际贡献。我们重点分析输出格式、示例数量以及自验证机制的影响。

\subsubsection{输出格式设计}

为了使大语言模型更好地适应序列标注任务，我们提出了使用特殊符号\texttt{\char64\char64}和\texttt{\#\#}包裹实体的输出格式。为验证该设计的有效性，我们将其与两种替代方案进行了比较：\text{BMES格式}（如\text{B-ORG}, \text{I-ORG}等）与\text{实体+位置格式}（输出实体及其起始位置）。实验均在CoNLL2003的100条样本上进行，采用32-shot设置。

三个输出格式的F1得分如下：

\begin{itemize}
  \item \textbf{\texttt{\char64\char64\#\#} 格式}: 92.68
  \item \textbf{BMES格式}: 29.75
  \item \textbf{实体+位置格式}: 38.73
\end{itemize}

\textbf{错误示例1（BMES格式）}：

\begin{quote}
\texttt{输入: White House is in Washington}\\
\texttt{输出: B-ORG E-ORG O O B-LOC}（正确）\\
\texttt{GPT-3输出: B-ORG E-ORG O O}（缺失位置标签）
\end{quote}

\textbf{错误示例2（实体+位置格式）}：

\begin{quote}
\texttt{输入: White House is in Washington}\\
\texttt{输出: White House (0), Washington (4)}（正确）\\
\texttt{GPT-3输出: White House (13), Washington (37)}（混淆字符/词索引）
\end{quote}

实验表明，\texttt{\@@...\#\#} 格式不仅更易于生成，还更稳健地编码了实体位置信息，显著优于其他两种格式。

\begin{table}[htbp]
\centering
\begin{tabular}{lccc}
\toprule
\textbf{Model} & \textbf{Precision} & \textbf{Recall} & \textbf{F1} \\
\midrule
\multicolumn{4}{c}{\textbf{Baselines (Supervised Model)}} \\
\midrule
BERT-MRC & 85.05 & 86.32 & 85.98 \\
Tiraffine+BERT & 87.13 & 87.68 & 87.40 \\
Tiraffine+ALBERT  & 88.88 & 88.24 & 88.56 \\
BINDER  & 88.3 & 89.1 & 88.7 (SOTA) \\
\midrule
\multicolumn{4}{c}{\textbf{GPT-NER}} \\
\midrule
GPT-3 + random retrieval & 55.04 & 41.76 & 48.4 \\
GPT-3 + sentence-level embedding & 65.31 & 53.67 & 60.68 \\
GPT-3 + entity-level embedding & 72.23 & 75.01 & 73.62 \\
\midrule
\multicolumn{4}{c}{\textbf{Self-verification (zero-shot)}} \\
\midrule
GPT-3 + random retrieval & 55.44 & 42.22 & 48.83 \\
GPT-3 + sentence-level embedding & 69.64 & 54.98 & 62.31 \\
GPT-3 + entity-level embedding & 73.58 & 74.74 & 74.16 \\
\midrule
\multicolumn{4}{c}{\textbf{Self-verification (few-shot)}} \\
\midrule
GPT-3 + random retrieval & 55.63 & 42.49 & 49.06 \\
GPT-3 + sentence-level embedding & 70.17 & 54.87 & 62.52 \\
GPT-3 + entity-level embedding & 73.29 & 75.11 & 74.2 \\
\bottomrule
\end{tabular}
\caption{ACE2004 (FULL) Performance Comparison}
\label{tab:ace2004}
\end{table}

\subsubsection{示例数量分析}

我们进一步分析了Few-shot示例数量$k$对模型性能的影响。在CoNLL2003的100条样本上进行实验，结果如图~\ref{fig:shot-performance}所示，F1分数随着$k$的增加而持续上升，说明GPT-NER尚未在token上下文限制内达到性能瓶颈。

特别地，当$k$较小时（如$k=2$或$k=4$），随机选择示例的性能略优于kNN检索。我们认为这是由于kNN方法更倾向选择与输入语义相近但缺乏实体的句子，导致输出格式失配。

\textbf{示例：}

\begin{quote}
\texttt{任务: 识别Organization实体}\\
\texttt{输入1: Korean pro-soccer games}\\
\texttt{输出1: Korean pro-soccer games}\\
\texttt{输入2: Australia defend the Ashes}\\
\texttt{输出2: Australia defend the Ashes}\\
\texttt{输入: Japan get lucky win}\\
\texttt{GPT输出: Japan [Organization Entity] get lucky win}
\end{quote}

由于缺乏正确输出格式示例，GPT-3会随意生成不符合预期的标签样式，影响解析准确性。

\subsubsection{自验证模块评估}

为减轻GPT模型在NER任务中的过预测问题（即将非实体错标为实体），我们提出了自验证机制，即在识别后由模型自我判断每个实体是否确属指定类型。

在CoNLL2003完整测试集上，我们比较了是否使用自验证的性能表现。以实体级kNN示例为基础：

\begin{itemize}
  \item \textbf{无自验证（zero-shot）}: 89.97
  \item \textbf{有自验证（zero-shot）}: 90.62
  \item \textbf{无自验证（few-shot）}: 89.97
  \item \textbf{有自验证（few-shot）}: 90.91
\end{itemize}

\textbf{错误示例（无验证）}：

\begin{quote}
\texttt{输入: Rare Hendrix song sells for \$17}
\texttt{输出: Rare \char64\char64 Hendrix\#\# song sells for \$17}
\end{quote}

自验证机制通过引导模型重新审视抽取结果，有效削弱了过度自信导致的错误预测，提升了整体准确性。

\begin{figure}[htbp]
  \centering
  \includegraphics[width=0.45\textwidth]{entity.png}
  \caption{不同示例数量$k$对GPT-NER模型性能的影响}
  \label{fig:shot-performance}
\end{figure}


\section{总结}
本文提出一种新方法 GPT-NER，它借助大语言模型（GPT）将命名实体识别（NER）从传统序列标注任务转化为文本生成任务，利用 GPT-3 等模型生成带特殊标记的实体文本，降低对大量标注数据的依赖并有效处理实体嵌套和重叠问题，还通过引入自验证策略减少 “幻觉” 实体生成，在多个标准数据集上表现与传统方法相当，且在低资源和多样化数据集上优势显著，尤其在处理平面和嵌套实体任务时优于现有深度学习模型，其贡献在于提出新方法和引入创新策略解决传统 NER 多个挑战，为低资源场景下的实体识别研究提供新思路。

% 本文提出了一种基于大语言模型（GPT）进行命名实体识别（NER）的新方法——\text{GPT-NER}，该方法将传统的序列标注任务转化为文本生成任务。不同于传统的基于规则或统计学习的 NER 方法，GPT-NER 利用 GPT-3 等大语言模型直接生成带有特殊标记（如 \texttt{@@} 和 \texttt{\#\#}）的实体文本，从而能够减少对大量标注数据的依赖，并有效处理实体嵌套和重叠问题。通过这种创新的任务转化，GPT-NER 展现了其在低资源环境下的强大能力，尤其是在少量标注数据的条件下，能够通过少量示例学习来完成高效的实体识别。

% 为了进一步提高模型的准确性，本文引入了\text{自验证策略}，该策略在生成实体后对其进行有效性验证，从而减少了“幻觉”实体的生成。实验结果表明，GPT-NER 在多个标准数据集上的表现与传统方法相当，并且在低资源和多样化数据集上展现出显著的优势，尤其在处理平面和嵌套实体任务时，GPT-NER 优于现有的深度学习模型。

% 本文的贡献不仅在于提出了一个新的命名实体识别方法，还在于创新性地引入了生成式模型和自验证策略，解决了传统 NER 方法的多个挑战。此外，GPT-NER 在低资源设置下的表现为未来的实体识别研究提供了新的思路，特别是在标注数据稀缺的场景下，其强大的少量示例学习能力为 NER 任务的应用拓展了新的方向。

未来的研究可以探索如何进一步优化 GPT-NER 在多语言、多领域任务中的应用，尤其是在医学、法律等特定领域的 NER 任务中，进一步提升模型的泛化能力和准确性。





\section*{References}

\begin{thebibliography}{99}
    \bibitem{ref1}Mark Braverman, Xinyi Chen, Sham Kakade, Karthik
Narasimhan, Cyril Zhang, and Yi Zhang. 2020. Cali-
bration, entropy rates, and memory in language mod-
els. pages 1089–1099.
    \bibitem{ref2} Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind
Neelakantan, Pranav Shyam, Girish Sastry, Amanda
Askell, et al. 2020. Language models are few-shot
learners. Advances in neural information processing
systems, 33:1877–1901.
    \bibitem{ref3}Jason PC Chiu and Eric Nichols. 2016. Named entity
recognition with bidirectional lstm-cnns. Transac-
tions ofthe association for computational linguistics,
4:357–370.
    \bibitem{ref4}Aakanksha Chowdhery, Sharan Narang, Jacob Devlin,
Maarten Bosma, Gaurav Mishra, Adam Roberts,
Paul Barham, Hyung Won Chung, Charles Sutton,
Sebastian Gehrmann, et al. 2022. Palm: Scaling
language modeling with pathways. arXiv preprint
arXiv:2204.02311.
    \bibitem{ref5}Walker Christopher, Strassel Stephanie, Medero Julie,
and Maeda Kazuaki. 2006. Ace 2005 multilingual
training corpus.
    \bibitem{ref6}Ronan Collobert, Jason Weston, Léon Bottou, Michael
Karlen, Koray Kavukcuoglu, and Pavel Kuksa.
2011. Natural language processing (almost) from
scratch. Journal of machine learning research,
12(ARTICLE):2493–2537.
    \bibitem{ref7}Jacob Devlin, Ming-Wei Chang, Kenton Lee, and
Kristina Toutanova. 2018. Bert: Pre-training of deep
bidirectional transformers for language understand-
ing. arXiv preprint arXiv:1810.04805.
    \bibitem{ref8}George R Doddington, Alexis Mitchell, Mark A Przy-
bocki, Lance A Ramshaw, Stephanie M Strassel, and
Ralph MWeischedel. 2004. The automatic content
extraction (ace) program-tasks, data, and evaluation.
2(1).
    \bibitem{ref9}Nan Du, Yanping Huang, Andrew M Dai, Simon Tong,
Dmitry Lepikhin, Yuanzhong Xu, Maxim Krikun,
Yanqi Zhou, Adams Wei Yu, Orhan Firat, et al. 2022.
Glam: Efficient scaling of language models with
mixture-of-experts. pages 5547–5569.
    \bibitem{ref10}Tianyu Gao, Xingcheng Yao, and Danqi Chen. 2021.
Simcse: Simple contrastive learning of sentence em-
beddings. arXiv preprint arXiv:2104.08821.
    \bibitem{ref11}Suchin Gururangan, Swabha Swayamdipta, Omer Levy,
Roy Schwartz, Samuel R Bowman, and Noah A
Smith. 2018. Annotation artifacts in natural language
inference data. arXiv preprint arXiv:1803.02324.
    \bibitem{ref12}Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat,
and Mingwei Chang. 2020. Retrieval augmented
language model pre-training. pages 3929–3938.
    \bibitem{ref13}Stefan Hegselmann, Alejandro Buendia, Hunter Lang,
Monica Agrawal, Xiaoyi Jiang, and David Sontag.
2022. Tabllm: Few-shot classification of tabular
data with large language models. arXiv preprint
arXiv:2210.10723.
    \bibitem{ref14}Jordan Hoffmann, Sebastian Borgeaud, Arthur Men-
sch, Elena Buchatskaya, Trevor Cai, Eliza Ruther-
ford, Diego de Las Casas, Lisa Anne Hendricks,
Johannes Welbl, Aidan Clark, et al. 2022. Train-
ing compute-optimal large language models. arXiv
preprint arXiv:2203.15556.
    \bibitem{ref15}Zhengbao Jiang, Jun Araki, Haibo Ding, and Graham
Neubig. 2021. How can we know when language
models know? on the calibration of language models
for question answering. 9:962–977.
    \bibitem{ref16}Guillaume Lample, Miguel Ballesteros, Sandeep Sub-
ramanian, Kazuya Kawakami, and Chris Dyer. 2016.
Neural architectures for named entity recognition.
arXiv preprint arXiv:1603.01360.
    \bibitem{ref17}Zhenzhong Lan, Mingda Chen, Sebastian Goodman,
Kevin Gimpel, Piyush Sharma, and Radu Soricut.
2019. Albert: A lite bert for self-supervised learn-
ing of language representations. arXiv preprint
arXiv:1909.11942.
    \bibitem{ref18}Angeliki Lazaridou, Elena Gribovskaya, Wojciech
Stokowiec, and Nikolai Grigorev. 2022. Internet-
augmented language models through few-shot
prompting for open-domain question answering.
arXiv preprint arXiv:2203.05115.
    \bibitem{ref19}Junlong Li, Zhuosheng Zhang, and Hai Zhao. 2022.
Self-prompting large language models for open-
domain qa. arXiv preprint arXiv:2212.08635.
    \bibitem{ref20}Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong
Han, Fei Wu, and Jiwei Li. 2019a. A unified mrc
framework for named entity recognition. arXiv
preprint arXiv:1910.11476.
    \bibitem{ref21}Xiaoya Li, Xiaofei Sun, Yuxian Meng, Junjun
Liang, Fei Wu, and Jiwei Li. 2019b. Dice loss
for data-imbalanced nlp tasks.
arXiv preprint
arXiv:1911.02855.
    \bibitem{ref22}Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan,
Lawrence Carin, and Weizhu Chen. 2021. What
makes good in-context examples for gpt-3? arXiv
preprint arXiv:2101.06804.
    \bibitem{ref23}Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel,
and Pontus Stenetorp. 2021. Fantastically ordered
prompts and where to find them: Overcoming
few-shot prompt order sensitivity. arXiv preprint
arXiv:2104.08786.
\bibitem{ref24}Chen T, Xu R, He Y, et al. Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN[J]. Expert Systems with Applications, 2017, 72: 221-230.
\bibitem{ref25}Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

\end{thebibliography}
\vspace{12pt}

\end{document}
